在随机对照试验中的治疗效果（TE）估计的客观评估中的中心障碍是缺乏地面真理（或验证集）来测试其表现。在本文中，我们提供了一种新的交叉验证样方法来解决这一挑战。我们程序的关键洞察力是嘈杂（但不偏不倚）差异估计可以用作RCT的一部分上的地面真理“标签”，以测试在另一部分培训的估计器的性能。我们将这种洞察力与聚集方案相结合，借助跨统计强度的大型RCT，以判断估计估计估计潜在治疗效果的能力的端到端方法。我们在亚马逊供应链中实施的709个RCT评估我们的方法。在Amazon的AB测试中，由于响应变量的重尾性，我们突出了与恢复治疗效果相关的独特困难。在这种重尾的设置中，我们的方法表明，积极低档或截断大值的程序，同时引入偏差降低了足以确保更准确地估计治疗效果的方差。
translated by 谷歌翻译
强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。
translated by 谷歌翻译
元学习或学习学习，寻求设计算法，可以利用以前的经验快速学习新技能或适应新环境。表示学习 - 用于执行元学习的关键工具 - 了解可以在多个任务中传输知识的数据表示，这在数据稀缺的状态方面是必不可少的。尽管最近在Meta-Leature的实践中感兴趣的兴趣，但缺乏元学习算法的理论基础，特别是在学习可转让陈述的背景下。在本文中，我们专注于多任务线性回归的问题 - 其中多个线性回归模型共享常见的低维线性表示。在这里，我们提供了可提供的快速，采样高效的算法，解决了（1）的双重挑战，从多个相关任务和（2）将此知识转移到新的，看不见的任务中的常见功能。两者都是元学习的一般问题的核心。最后，我们通过在学习这些线性特征的样本复杂性上提供信息定理下限来补充这些结果。
translated by 谷歌翻译
高维计算（HDC）是用于数据表示和学习的范式，起源于计算神经科学。HDC将数据表示为高维，低精度向量，可用于学习或召回等各种信息处理任务。高维空间的映射是HDC中的一个基本问题，现有方法在输入数据本身是高维时会遇到可伸缩性问题。在这项工作中，我们探索了一个基于哈希的流媒体编码技术。我们正式表明，这些方法在学习应用程序的性能方面具有可比的保证，同时比现有替代方案更有效。我们在一个流行的高维分类问题上对这些结果进行了实验验证，并表明我们的方法很容易扩展到非常大的数据集。
translated by 谷歌翻译
神经架构搜索（NAS）在神经网络（NN）的设计和部署方面具有显着提高的生产率。由于NAS通常通过部分或完全训练多个模型来评估多个模型，因此提高的生产率是以大量碳足迹为代价的。为了减轻这种昂贵的训练例程，零击/成本代理在初始化时分析了NN以产生分数，这与其真正的准确性高度相关。零成本代理目前是由专家设计的，这些专家对可能的算法，数据集和神经体系结构设计空间进行了多个经验测试。这降低了生产率，并且是对零成本代理设计的一种不可持续的方法，因为深度学习用例本质上多样化。此外，现有的零成本代理无法跨越神经体系结构设计空间。在本文中，我们提出了一个基因编程框架，以自动化发现零成本代理以进行神经体系结构评分。我们的方法有效地发现了一个可解释且可推广的零成本代理，该代理在NASBENCH-2010和网络设计空间（NDS）的所有数据集和搜索空间上提供了最高得分 - 准确性的相关性。我们认为，这项研究表明了自动发现可以跨网络体系结构设计空间，数据集和任务的零成本代理的有希望的方向。
translated by 谷歌翻译
拆分计算已成为实现基于DNN的AI工作负载的最新范例，其中DNN模型分为两个部分，其中一个是在移动/客户端设备上执行的，另一部分是在边缘服务器（或cloud）上执行的。 。数据压缩适用于需要传输的DNN的中间张量，以应对优化速率准确性复杂性权衡的挑战。现有的拆分计算方法采用基于ML的数据压缩，但要求将整个DNN模型的参数（或其中的大部分）用于不同的压缩级别。这会产生高的计算和存储负担：训练从头开始的完整DNN模型在计算上是要求的，维持DNN参数的多个副本会增加存储要求，并在推断期间切换全套权重增加内存带宽。在本文中，我们提出了一种解决所有这些挑战的方法。它涉及瓶颈单元的系统设计和训练 - 简单，低成本的神经网络 - 可以在分裂点插入。与现有方法相比，在训练和推理期间，在训练和推理期间，高效和储存额的一小部分，我们的方法都非常轻巧。
translated by 谷歌翻译
极端分类（XC）试图用最大的标签集中标记标签的子集标记数据点。通过使用稀疏，手工制作的功能的XC方法优越，用密集，学习的数据来进行深度XC，以数据点和标签的形式吸引了很多关注。负挖掘技术已成为所有深XC方法的关键组成部分，使它们可以扩展到数百万个标签。然而，尽管最近进步，但培训具有大型编码器体系结构（例如变形金刚）的深入XC模型仍然具有挑战性。本文确定，流行负面挖掘技术的内存通常迫使小型批量尺寸保持小且缓慢的训练。作为回应，本文介绍了Ngame，这是一种轻巧的迷你批次创建技术，可证明可证明准确的内部负面样品。这使得与现有负面采样技术相比，具有更大的迷你批次培训，提供更快的收敛性和更高的精度。发现Ngame的准确性比各种基准数据集的最先进方法要高16％，以进行极端分类，并且在回答搜索引擎查询以响应用户网页时检索搜索引擎查询更准确3％显示个性化广告。在流行搜索引擎的实时A/B测试中，Ngame在点击率率中的收益最高可达23％。
translated by 谷歌翻译
强化学习（RL）的经典理论主要集中在单个任务设置上，在该设备设置中，代理商学会通过反复试验的经验来解决任务，仅从该任务中访问数据。但是，许多最近的经验工作表明，利用跨多个相关任务训练的联合代表的实践好处。在这项工作中，我们从理论上分析了这样的设置，将与任务相关性的概念形式化为共享的状态行动表示，该表示在所有任务中都接受线性动态。我们介绍了用于Multitask MatrixRl的共享matrixrl算法。在$ p $ dimension $ d $共享联合$ r \ ll d $低维表示的情况下，我们向$ o o提高了对$ p $任务的遗憾（phd \ sqrt { nh}）$ to $ o（（（HD \ sqrt {rp} + hp \ sqrt {rd}）\ sqrt {nh}）$ bo $ n $ n $ n $ episodes of horizon $ h $。这些收益与上下文匪徒和RL中其他线性模型中观察到的收益一致。与以前研究过其他函数近似模型中多任务RL的工作相反，我们表明，在具有双线性优化的Oracle和有限状态作用空间的存在下，多任务矩阵的计算有效算法通过减少到Quadratic编程。我们还开发了一种简单的技术，可以从某些情节线性问题的遗憾上限中刮除$ \ sqrt {h} $ factor。
translated by 谷歌翻译
最近的神经结构搜索（NAS）解决方案已经生产出令人印象深刻的结果培训超级网络，然后派生子网，A.K.A.儿童模型从预定义的搜索空间中胜过专家制作的模型。可以为资源受限的边缘设备选择高效且强大的子网，允许它们在野外执行良好。然而，构建任意架构的超级网络仍然是一种挑战，通常可以防止采用这些方法。为了解决这一挑战，我们呈现Bootstrapnas，这是一种自动生成NAS的超网络的软件框架。 Bootstrapnas从流行的体系结构，例如Reset-50或有效的自定义设计中获取预先训练的模型，并自动创建超网络，然后使用最先进的NAS技术来训练超级网络，导致子网，显着优于给定的预先训练模型。我们通过从任意模型存储库生成超级网络并提供结果的超网络来展示解决方案，以获得结果的再现性。
translated by 谷歌翻译
我们从看不见的RGB图像提出了一种场景级3D重建，包括遮挡区域的方法。我们的方法是在真正的3D扫描和图像上培训。由于多种原因，这个问题已经证明很难;真正的扫描不是防水，禁止许多方法;场景中的距离需要推理跨对象（使其更加困难）;并且，正如我们所示，表面位置的不确定性激励网络以产生缺少基本距离功能属性的输出。我们提出了一种新的距离样功能，可以在非结构化扫描上计算，并且在对表面位置的不确定性下具有良好的行为。计算此功能在光线上可进一步降低复杂性。我们训练一个深度网络来预测此功能，并显示出于TASTPORT3D，3D前面和SCANNET上的其他方法。
translated by 谷歌翻译